package com.wnxy.utils;

import com.wnxy.pojo.Goods;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.net.URL;
import java.util.ArrayList;
import java.util.List;

public class JsoupUtils {
    public static List<Goods> parseJd(String keyword) throws Exception {
        // 需要把https改为http
        String url = "http://search.jd.com/Search?keyword=" + keyword;
        // 1、通过jsoup爬取网页内容，获取一个Document文档对象
        Document document = Jsoup.parse(new URL(url), 30000);
        // 2、根据document对象，获取页面元素
        Element ele_div = document.getElementById("J_goodsList");
        // 3、获取div元素下的所有li元素集合
        Elements ele_lis = ele_div.getElementsByTag("li");
        // 4、遍历所有的li（li里面有要爬取的商品信息）
        List<Goods> list = new ArrayList<>();
        for (Element ele_li : ele_lis) {
            String name = ele_li.getElementsByClass("p-name").eq(0).text();
            String price = ele_li.getElementsByClass("p-price").eq(0).text();
            String pic = ele_li.getElementsByTag("img").eq(0).attr("data-lazy-img");
            //Goods goods = new Goods();
            //goods.setName(name);
            //goods.setPrice(price);
            //goods.setImg(pic);
            Goods goods = Goods.builder().name(name).price(price).img(pic).build();
            list.add(goods);
        }
        return list;
    }
}
